跳到主要内容

对抗迁移学习

1. 对抗学习与迁移学习的相遇​

生成对抗网络(GAN)的核心思想是:让一个生成器 GG 与一个判别器 DD 相互博弈,最终生成器学到目标分布。

迁移学习中一个核心的诉求,正是让源域和目标域的特征分布 "看起来一样" ——这与 GAN 的目标天然契合。因此,用"域判别器"充当 GAN 中的 DD、用"特征提取器"充当 GG,就得到了对抗迁移学习。

2. 理论基础:H\mathcal{H}-Divergence​

Ben-David 等人给出了目标域误差的上界:

ϵt(h)≤ϵs(h)+dHΔH(Ds,Dt)+λ\epsilon_t(h) \le \epsilon_s(h) + d_{\mathcal{H}\Delta\mathcal{H}}(D_s, D_t) + \lambda

其中 dHΔHd_{\mathcal{H}\Delta\mathcal{H}} 是"两个域在假设空间上的可区分性"。如果我们能训练一个域分类器,其分辨源、目标域的能力越弱,说明两个域的特征越接近,进而目标域的泛化误差越小。

对抗迁移学习正是把这个理论落地——训练特征提取器"骗过"域分类器 。

3. DANN:域对抗神经网络​

Ganin 等人提出的 DANN(Domain-Adversarial Neural Network)是对抗迁移的开山之作。其结构包含三个模块:

  • 特征提取器 GfG_f :把输入映射到特征空间;
  • 标签预测器 GyG_y :源域上的分类头;
  • 域判别器 GdG_d :判断特征来自源域还是目标域。

优化目标为:

min⁡Gf,Gymax⁡Gd  Lcls(Gy∘Gf)−λ⋅Ldom(Gd∘Gf)\min_{G_f, G_y} \max_{G_d} \; \mathcal{L}_{\text{cls}}(G_y \circ G_f) - \lambda \cdot \mathcal{L}_{\text{dom}}(G_d \circ G_f)
  • GyG_y 想让分类损失最小;
  • GdG_d 想尽可能区分两个域(域分类损失最小);
  • GfG_f 既要帮 GyG_y,又要 反着 帮 GdG_d——让域分类损失最大。

3.1 梯度反转层(GRL)​

如何在同一个网络中实现"共同训练但反向优化"?DANN 引入了 梯度反转层(Gradient Reversal Layer, GRL) :

  • 前向:GRL(x)=x\text{GRL}(x) = x;
  • 反向:d(GRL(x))dx=−λI\frac{d(\text{GRL}(x))}{dx} = -\lambda I。

在 PyTorch 中的实现:

import torch

class GradReverse(torch.autograd.Function):
@staticmethod
def forward(ctx, x, lam):
ctx.lam = lam
return x.view_as(x)

@staticmethod
def backward(ctx, grad_output):
return grad_output.neg() * ctx.lam, None

def grad_reverse(x, lam=1.0):
return GradReverse.apply(x, lam)

将 GRL 放在特征提取器与域判别器之间,就能让特征提取器"反着"学到域不变表示。

3.2 λ 的调度​

λ\lambda 一般随训练进度平滑上升,避免早期训练不稳定:

λp=21+exp⁡(−10p)−1,p=current steptotal steps\lambda_p = \frac{2}{1 + \exp(-10 p)} - 1, \quad p = \frac{\text{current step}}{\text{total steps}}

4. DANN 的改进方向​

DANN 之后,对抗迁移学习百花齐放:

4.1 CDAN:条件对抗迁移​

Long 等人的 CDAN(Conditional Domain Adversarial Network)指出:仅对齐边缘分布不够,还要 利用类别信息 。做法是将特征 ff 与预测分布 y^\hat{y} 做外积 f⊗y^f \otimes \hat{y},将结果送入域判别器:

  • 保证同一类样本的域间对齐;
  • 显著提升多类别任务的迁移性能。

4.2 ADDA:对抗判别域适应​

ADDA(Tzeng 等)采用 不对称训练 :先在源域上训好特征提取器 GfsG_f^s,再冻结它;训练一个目标域的特征提取器 GftG_f^t,让它输出的特征能够"骗过"域判别器。这种非对称结构比 DANN 更容易训练。

4.3 GAN 直接生成源域风格数据​

  • PixelDA :用 GAN 把源域图像"翻译"成目标域风格,再做常规监督学习;
  • CyCADA :结合 CycleGAN 与语义一致性损失,同时保持像素与语义。

这些方法把"对抗"发生在像素层面,特别适合视觉任务中"风格差异明显但语义一致"的场景。

4.4 MDD:Margin Disparity Discrepancy​

MDD 提出一种新的域距离,通过"边际分类差异"作为对抗目标,理论性更强,且实验上比 DANN 更稳。

5. 对抗迁移的完整训练流程​

以最经典的 DANN 为例,一次完整训练循环包括:

for step in range(total_steps):
xs, ys = next(source_loader)
xt, _ = next(target_loader)

lam = 2.0 / (1.0 + math.exp(-10 * step / total_steps)) - 1.0

# 特征提取
feat_s = feature_extractor(xs)
feat_t = feature_extractor(xt)

# 源域分类损失
logits_s = classifier(feat_s)
loss_cls = F.cross_entropy(logits_s, ys)

# 域对抗损失(经过 GRL)
feat_all = torch.cat([feat_s, feat_t], dim=0)
domain_labels = torch.cat([torch.zeros(len(xs)), torch.ones(len(xt))]).long().cuda()
dom_logits = domain_disc(grad_reverse(feat_all, lam))
loss_dom = F.cross_entropy(dom_logits, domain_labels)

loss = loss_cls + loss_dom
optimizer.zero_grad(); loss.backward(); optimizer.step()

6. 对抗迁移学习的优缺点​

优点

  • 不显式假设某种分布形式;
  • 端到端,可与任何主干网络结合;
  • 在视觉、NLP、语音等多个任务上均验证有效。

局限

  • 训练不稳定 :博弈过程可能出现模式坍塌、震荡;
  • 模式坍缩 :两个域的特征都塌缩到某一小区域,虽域不变但判别性丢失;
  • 无监督评估困难 :目标域无标签时,超参和早停策略难以设置;
  • 对负迁移敏感 :源、目标语义差异过大时可能损害性能。

7. 常见坑与最佳实践​

  • 域判别器不能太强 :一般 2~3 层 MLP,宽度不宜过大;否则 GfG_f 学不到判别性特征。
  • λ 从 0 开始逐渐增大 :让特征提取器先具备基本判别能力。
  • 配合 Entropy Minimization :在目标域上加最小熵损失,鼓励高置信预测。
  • 配合 DSAN / CDAN :把对抗与类感知结合,效果远超裸 DANN。
  • 注意 BatchNorm :Source-only BN 会污染目标域,建议在训练时区分统计量或采用 AdaBN。

8. 小结​

对抗迁移学习将 GAN 的思想引入分布对齐:

  • DANN 奠定基础范式;
  • CDAN / ADDA / MDD 是主线上的重要改进;
  • PixelDA / CyCADA 在像素级完成迁移;
  • 它与统计对齐(MMD、CORAL)不是对立关系,二者往往可以互补使用。

References​

[1]. 王晋东,陈益强. 迁移学习导论(第二版). 电子工业出版社, 2022.

[2]. Ganin Y, Lempitsky V. Unsupervised Domain Adaptation by Backpropagation. ICML, 2015.

[3]. Ganin Y, et al. Domain-Adversarial Training of Neural Networks. JMLR, 2016.

[4]. Tzeng E, et al. Adversarial Discriminative Domain Adaptation. CVPR, 2017.

[5]. Long M, et al. Conditional Adversarial Domain Adaptation. NeurIPS, 2018.

[6]. Zhang Y, et al. Bridging Theory and Algorithm for Domain Adaptation. ICML, 2019.